پس از انتخاب ابوالحسن بني‏صدر به رياست جمهوري، به دليل آن كه مجلس شوراي اسلامي، نامزدهاي معرفي شده از طرف او براي احراز پست نخست‏وزيري را واجد صلاحيت‏هاي اسلامي و انقلابي نمي‏دانست كار اختلاف مجلس با بني‏صدر بالا گرفت. در نهايت قرار براين شد كه از ميان هيئت پنج نفره‏اي از نمايندگان مجلس، فردي به عنوان نخست وزير معرفي گردد. از اين رو پس از بررسي‏هاي طولاني و پس از حذف دو نفر از آنان به دليل حزبي بودن،نظر هيئت سه نفره به اتفاق آرا بر اين قرار گرفت كه شهيد رجايي شايستگي تصدي مسؤوليت خطير نخست وزيري را دارد. در جريان راي اعتماد مجلس كه 153 راي موافق اخذ شد، شهيد رجايي با سه جمله خود را اينگونه معرفي كرد: من مقلد امام، فرزند مجلس و برادر رييس جمهورم. بني‏صدر ابتدا در برابر اين انتخاب بناي مخالفت گذاشت ولي وقتي احساس كرد در مقابل مجلس كاري از پيش نخواهد بُرد به ناچار با اين پيشنهاد موافقت نمود. اما در هر فرصت ممكن از تضعيف شخصيت شهيد رجايي در افكار عمومي با به كارگيري تعابير و القاب زشت و ناپسند خودداري نمي‏كرد. در برابر اين جسارت‏ها و توهين‏هاي بني‏صدر به عنوان رييس جمهور، شهيد رجايي با توجه به حساسيت جو موجود، تمامي اين تلخي‏ها و اهانت‏ها را در كمال صبر و بردباري و متانت تحمل و در مواقع لزوم با ارايه استدلال‏هاي محكم و منطقي به ايرادات مكرر بني صدر پاسخ مي‏داد. سرانجام كارشكني‏هاي بني‏صدر و اختلاف‏آفريني او كار را به جايي رسانيد كه بنا به توصيه حضرت امام، مجلس شوراي اسلامي مسأله عدم كفايت سياسي او را با توجه به اخباري كه دالّ بر مسلّح كردن منافقين توسط او بود به بحث گذاشت و با راي مثبت به آن، بني صدر از رياست جمهوري عزل گرديد.